原貌|此功能_HbaseJavaAPI的简单使用+原理介绍

篇首语：本文由编程笔记#小编为大家整理，主要介绍了Hbase Java API的简单使用+原理介绍相关的知识，希望对你有一定的参考价值。

​ 本文主要通过Hbase JavaAPI在Hbase中进行建表及插入数据及HBase的DDL和DML&＃xff0c;让你更加了解关于Hbase的相关原理。

如需获取更多源码&＃xff0c;笔记&＃xff0c;教程&＃xff0c;请访问本人仓库&＃xff0c;你的关注是我创作的动力&＃xff01;

链接&＃xff1a;https://gitee.com/fanggaolei/learning-notes-warehouse

​ HBase 数据模型的关键在于稀疏、分布式、多维、排序的映射。其中映射 map指代非关系型数据库的 key-Value 结构。

Hbase存储数据的原貌&＃xff1a;

"office_info": #列族
"tel":"010-1111111", #tel列
"address":"atguigu" #address列


数据模型介绍

&＃xff08;1&＃xff09;Name Spase数据模型&＃xff1a;相当于Mysql中的database&＃xff0c;下面可以存放多张表

&＃xff08;2&＃xff09;Table&＃xff1a;相当于数据库中的表

&＃xff08;3&＃xff09;Row&＃xff1a;HBase 表中的每行数据都由一个 RowKey 和多个 Column&＃xff08;列&＃xff09;组成&＃xff0c;数据是按照 RowKey

​ 的字典顺序存储的&＃xff0c;并且查询数据时只能根据 RowKey 进行检索&＃xff0c;所以 RowKey 的设计十分重要。

&＃xff08;4&＃xff09;Column&＃xff1a;每个列都由 Column Family(列族)和 Column Qualifier&＃xff08;列限定符&＃xff09;进行限定&＃xff0c;例如 info&＃xff1a; name&＃xff0c;info&＃xff1a;age。建表时&＃xff0c;只需指明列族&＃xff0c;而列限定符无需预先定义。

&＃xff08;5&＃xff09;Time Stamp&＃xff1a;用于标识数据的不同版本&＃xff08;version&＃xff09;&＃xff0c;每条数据写入时&＃xff0c;系统会自动为其加上该字段&＃xff0c;

​ 其值为写入 HBase 的时间。

&＃xff08;6&＃xff09;Cell&＃xff1a;由rowkey, column Family&＃xff1a;column Qualifier, timestamp 唯一确定的单元。cell 中的数

​ 据全部是字节码形式存贮。
架构说明&＃xff1a;

1&＃xff09;Master

实现类为 HMaster&＃xff0c;负责监控集群中所有的 RegionServer 实例。主要作用如下&＃xff1a;

&＃xff08;1&＃xff09;管理元数据表格 hbase:meta&＃xff0c;接收用户对表格创建修改删除的命令并执行

&＃xff08;2&＃xff09;监控 region 是否需要进行负载均衡&＃xff0c;故障转移和 region 的拆分。

通过启动多个后台线程监控实现上述功能&＃xff1a;

①LoadBalancer 负载均衡器

​ 周期性监控 region 分布在 regionServer 上面是否均衡&＃xff0c;由参数 hbase.balancer.period 控制周期时间&＃xff0c;默认 5 分钟。

②CatalogJanitor 元数据管理器

​ 定期检查和清理 hbase:meta 中的数据。meta 表内容在进阶中介绍。

③MasterProcWAL master 预写日志处理器

​ 把 master 需要执行的任务记录到预写日志 WAL 中&＃xff0c;如果 master 宕机&＃xff0c;让 backupMaster读取日志继续干。

2&＃xff09;Region Server

Region Server 实现类为 HRegionServer&＃xff0c;主要作用如下:

&＃xff08;1&＃xff09;负责数据 cell 的处理&＃xff0c;例如写入数据 put&＃xff0c;查询数据 get 等

&＃xff08;2&＃xff09;拆分合并 region 的实际执行者&＃xff0c;有 master 监控&＃xff0c;有 regionServer 执行。

3&＃xff09;Zookeeper

​ HBase 通过 Zookeeper 来做 master 的高可用、记录 RegionServer 的部署信息、并且存储有 meta 表的位置信息。 HBase 对于数据的读写操作时直接访问 Zookeeper 的&＃xff0c;在 2.3 版本推出 Master Registry模式&＃xff0c;客户端可以直接访问 master。使用此功能&＃xff0c;会加大对 master 的压力&＃xff0c;减轻对 Zookeeper的压力。

4&＃xff09;HDFS

​ HDFS 为 Hbase 提供最终的底层数据存储服务&＃xff0c;同时为 HBase 提供高容错的支持。

2.1创建连接

​ HBase 的客户端连接由 ConnectionFactory 类来创建&＃xff0c;用户使用完成之后需要手动关闭连接。同时连接是一个重量级的&＃xff0c;推荐一个进程使用一个连接&＃xff0c;对 HBase的命令通过连接中的两个属性 Admin 和 Table 来实现。使用类单例模式,确保使用一个连接&＃xff0c;可以同时用于多个线程。

package com.fang.hbase;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import java.io.IOException;
public class HbaseConnection
public static Connection connection&＃61;null; //声明一个静态属性
static
//1.创建连接
//默认使用同步连接
try
//使用读取本地文件的方式添加参数
connection&＃61;ConnectionFactory.createConnection();
catch (IOException e)
e.printStackTrace();


public static void closeConnection() throws IOException
//判断连接是否为null
if (connection!&＃61;null)
connection.close();


public static void main(String[] args) throws IOException
//直接使用创建好的连接&＃xff0c;不要在main线程里面单独创建
System.out.println(HbaseConnection.connection);
//在main线程的最后记得关闭连接
HbaseConnection.closeConnection();




​ 还记得静态代码块的特点吗&＃xff1f;随着类的加载而执行&＃xff0c;而且只执行一次

​ 静态代码块&＃xff1a;执行优先级高于非静态的初始化块&＃xff0c;它会在类初始化的时候执行一次&＃xff0c;执行完成便销毁&＃xff0c;它仅能初始化类变量

2.2创建命名空间

在同一个包下创建HbaseDDL类&＃xff0c;执行创建命名空间的功能&＃xff0c;使用建造者模式

package com.fang.hbase;
import org.apache.hadoop.hbase.NamespaceDescriptor;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import java.io.IOException;
public class HBaseDDL
//声明一个静态属性&＃xff0c;获取连接
public static Connection connection &＃61; HbaseConnection.connection;
/**
* 创建命名空间&＃xff0c;命名空间名称
* &＃64;param namespase
* admin的连接是轻量级的&＃xff0c;不是线程安全的&＃xff0c;不推荐池化或者缓存连接
*/
public static void createNamespace(String namespace) throws IOException
//1.获取admin
Admin admin &＃61; connection.getAdmin();
//2.调用方法创建命名空间,给一个描述
//代码相对shell更加底层&＃xff0c;shell实现的功能&＃xff0c;代码一定能实现
//2.1创建命名空间描述建造者&＃61;》设计师
NamespaceDescriptor.Builder builder &＃61; NamespaceDescriptor.create(namespace);
//2.2给命名空间添加需求
builder.addConfiguration("user","fang");
//2.3使用builder构造出对饮的创建一个命名空间描述
admin.createNamespace(builder.build());
//3.关闭admin
admin.close();

public static void main(String[] args) throws IOException
//测试创建命名空间
createNamespace("fang");
System.out.println("创建成功");
//关闭Hbase连接
HbaseConnection.closeConnection();




执行情况&＃xff1a;

在命令行中查看&＃xff0c;创建过程&＃xff0c;表示创建成功&＃xff01;&＃xff01;&＃xff01;

看这里&＃xff0c;前面的代码你会发现&＃xff0c;如果你再次执行代码就会发现会出现问题&＃xff0c;原因是&＃xff0c;创建的命名空间已经存在理论来说这个问题应该自己解决&＃xff0c;并不是将异常直接抛出&＃xff0c;可参考如下代码

package com.fang.hbase;
import org.apache.hadoop.hbase.NamespaceDescriptor;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import java.io.IOException;
public class HBaseDDL
//声明一个静态属性&＃xff0c;获取连接
public static Connection connection &＃61; HbaseConnection.connection;
/**
* 创建命名空间&＃xff0c;命名空间名称
* &＃64;param namespase
* admin的连接是轻量级的&＃xff0c;不是线程安全的&＃xff0c;不推荐池化或者缓存连接
*/
public static void createNamespace(String namespace) throws IOException
//1.获取admin
Admin admin &＃61; connection.getAdmin();
//2.调用方法创建命名空间,给一个描述
//代码相对shell更加底层&＃xff0c;shell实现的功能&＃xff0c;代码一定能实现
//2.1创建命名空间描述建造者&＃61;》设计师
NamespaceDescriptor.Builder builder &＃61; NamespaceDescriptor.create(namespace);
//2.2给命名空间添加需求
builder.addConfiguration("user","fang");
//2.3使用builder构造出对饮的创建一个命名空间描述
//创建命名空间出现的问题&＃xff0c;都属于
try
admin.createNamespace(builder.build());
catch (IOException e)
System.out.println("命名空间已经存在");
e.printStackTrace();

//3.关闭admin
admin.close();

public static void main(String[] args) throws IOException
//测试创建命名空间
createNamespace("fang");
System.out.println("执行完成");
//关闭Hbase连接
HbaseConnection.closeConnection();


package com.fang.hbase;
import org.apache.hadoop.hbase.NamespaceDescriptor;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import java.io.IOException;
public class HBaseDDL
//声明一个静态属性&＃xff0c;获取连接
public static Connection connection &＃61; HbaseConnection.connection;
/**
* 创建命名空间&＃xff0c;命名空间名称
* &＃64;param namespase
* admin的连接是轻量级的&＃xff0c;不是线程安全的&＃xff0c;不推荐池化或者缓存连接
*/
public static void createNamespace(String namespace) throws IOException
//1.获取admin
Admin admin &＃61; connection.getAdmin();
//2.调用方法创建命名空间,给一个描述
//代码相对shell更加底层&＃xff0c;shell实现的功能&＃xff0c;代码一定能实现
//2.1创建命名空间描述建造者&＃61;》设计师
NamespaceDescriptor.Builder builder &＃61; NamespaceDescriptor.create(namespace);
//2.2给命名空间添加需求
builder.addConfiguration("user","fang");
//2.3使用builder构造出对饮的创建一个命名空间描述
//创建命名空间出现的问题&＃xff0c;都属于
try
admin.createNamespace(builder.build());
catch (IOException e)
System.out.println("命名空间已经存在");
e.printStackTrace();

//3.关闭admin
admin.close();

public static void main(String[] args) throws IOException
//测试创建命名空间
createNamespace("fang");
System.out.println("执行完成");
//关闭Hbase连接
HbaseConnection.closeConnection();




2.3判断表格是否存在

自行将本代码块&＃xff0c;放入上方代码中进行测试即可

/**
* 创建表格是否存在
* &＃64;param namespace
* &＃64;return
* &＃64;throws IOException
* trur表示存在 false表示不存在
*/
public static boolean isTableExists(String namespace,String tableName) throws IOException
//1.获取admin
Admin admin &＃61; connection.getAdmin();
//2.使用方法判断表格是否存在
boolean b &＃61; false;
try
b &＃61; admin.tableExists(TableName.valueOf(namespace,tableName));
catch (IOException e)
e.printStackTrace();

admin.close();
//3.返回结果
return b;



执行结果&＃xff1a;

2.5创建表格&＃xff08;使用HBase1.3.1版本和2.4版本有所区别&＃xff09;

/**
* &＃64;param tableName 表格名称
* &＃64;param families 列族名称&＃xff0c;可以有多个
*/
public static void createTable(String tableName,String... families) throws IOException
//1.获取admin
Admin admin &＃61; connection.getAdmin();
//2.调用方法创建表格
//2.1创建表格描述的建造者
TableName tableName1 &＃61; TableName.valueOf(tableName);
HTableDescriptor tableDescriptor&＃61;new HTableDescriptor(tableName); //表格描述器
if (families&＃61;&＃61;null||families.length&＃61;&＃61;0) //如果没有填写列族&＃xff0c;给一个info
families&＃61;new String[1];
families[0]&＃61;"info";

for (String family : families)
HColumnDescriptor columnDescriptor&＃61; new HColumnDescriptor(family);//列族描述器
tableDescriptor.addFamily(columnDescriptor);

try
admin.createTable(tableDescriptor);
catch (IOException e)
System.out.println("表格已存在");
e.printStackTrace();

//3.关闭admin
admin.close();



2.6插入数据

package com.fang.hbase;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
public class HBaseDML
public static Connection connection&＃61;HbaseConnection.connection; //声明一个静态属性
/**
* &＃64;param tableName 表名
* &＃64;param rowKey 主键
* &＃64;param family 列族名
* &＃64;param columnName 列名
* &＃64;param value 值
*/
public static void putCell(String tableName,String rowKey,String family,String columnName,String value) throws IOException
//1.获取table
Table table &＃61; connection.getTable(TableName.valueOf(tableName));
//2.调用相关方法添加数据
Put put &＃61; new Put(Bytes.toBytes(rowKey));
//3.给put对象添加属性
put.addColumn(Bytes.toBytes(family),Bytes.toBytes(columnName),Bytes.toBytes(value));
//4.将对象写入方法
table.put(put);
//5.关闭table
try
table.close();
catch (IOException e)
System.out.println("表格是否存在");
e.printStackTrace();


public static void main(String[] args) throws IOException
//测试添加数据
putCell("shuju:huahua","1000","age","agga","43");
System.out.println("其他代码");
//关闭连接
HbaseConnection.closeConnection();




测试成功&＃xff01;